cs / computer-networks

lec06-video streaming and Data Center

Video:

  • 一个 seq of images, 以一个固定的速率进行播放

以 1024 * 1024 来算一张 image; RGB: 一个 pixel 24 bit

-> 那么一个 image 的大小: 3MB

24 frames/sec 来算一个 video 的速率

-> 那么一个视频的数据: 72 MB/sec

常见的数据规模:

  • TV 帧率: 30 frames/sec

  • quality levels (resolutions): 480p, 720p, 1080p, 4k…

    1080p: 1920*1080 pixels

    压缩原分辨率 -> 更小的分辨率的做法是 compression algorithms.

Video 的特点:

  • 对于一个 GET 而言来大了
  • 当退回的时候, 不应该重新加载整个视频

Http streaming:

  • video 和其他资源一样, 也是存在一个 Http server with a URL

  • clients 发送 GET request for 这个 URL

  • server 把 video files 发送给 client, as a stream

  • client 收到 video stream 后, 会 buffer 它一会儿, 减少之后的 interruptions

    当 buffer 达到 threshold 大小, video 就开始在 foreground 进行播放, 而更多的 frames 在 background 中被 download

image-20250928195611462

DASH: Dynamic Adaptive Streaming over HTTP

针对和该 client 端通信的 throughtput 来定制 bitrate

非常好,这几张图展示了 数据中心网络 (Datacenter Networks) 的结构设计理念,以及为什么它要追求“高带宽 (High Bandwidth)” 的核心目标。我们逐层看:


🏗️ 一、数据中心网络的层次结构

1. Rack 层 (机架层)

  • 每个机架 (rack) 里有几十台服务器 (Server);
  • 顶部有一个 ToR switch (Top-of-Rack 交换机);
  • 所有机架内的服务器都连接到这个 ToR switch。

→ Rack = 多个 Server + 一个 ToR Switch


2. Aggregation 层 (聚合层)

  • 多个 ToR Switch 再连到 Aggregation Switch;
  • 这层主要负责汇聚不同机架间的流量。

→ 类似“楼层总线”:把每层机架的流量集中起来。


3. Core 层 (核心层)

  • 所有 Aggregation Switch 都连到 Core Switch;
  • Core 是整个数据中心对外和对内通信的骨干层;
  • 通常用高性能、高带宽的交换机。

→ Core 层就像数据中心的“大脑中枢”。


🔁 二、整个结构形成分层树状拓扑

图二展示的是三层结构:

text
Core
│
├── Aggregation
│   ├── Rack1 (Servers + ToR)
│   ├── Rack2
│   └── Rack3
└── ...

这是一种 分层式 (hierarchical) 网络架构, 既方便扩展,又容易管理。


🚀 三、高带宽 (High Bandwidth) 的目标

在理想情况下:

“每台服务器都能以满速带宽和任意其他服务器通信。”

也就是说:

  • 如果每个服务器是 10 Gbps 接口,
  • 那么无论通信路径经过多少交换机,中间都不会成为瓶颈。

💡 四、One Giant Switch(概念模型)

从逻辑上,我们希望:

整个数据中心像一个“巨大的交换机”一样工作, 任意两台服务器之间的通信速度,就像它们在同一个局域网里。

图四展示的 “One GIANT Switch” 就是这种理想化视角。


⚙️ 五、现实 vs 理想:为什么不能真的用一个巨型交换机?

图五说明了实际问题:

  • 要支持 100 万台服务器、每台 10 Gbps:
    • 需要一个带宽 10¹⁵ bps (10 Pbit/s) 的交换机;
    • 还要 100 万个端口;
    • 这种设备在物理上和成本上都不现实。

✅ 六、现实可行的做法:网络织布 (Fabric)

所以,实际方案 是:

用大量普通交换机,互相连接成一个高带宽的网络结构(称为 “fabric”)。

  • 通过多路径互联(如 Fat-Tree 或 Clos 架构)实现高“bisection bandwidth”;
  • 确保任意两台服务器之间的通信几乎不会被瓶颈阻塞;
  • 每个交换机只需承担部分端口负担,整体却像一个“巨型虚拟交换机”。

🧠 总结一句话:

数据中心网络由 Rack → Aggregation → Core 三层构成, 目标是实现“任意服务器之间都能以满带宽通信”。 实际上无法用一个超大交换机来实现,所以通过分层互联的交换机网络 (fabric) 达到同样效果。


如果你想更深入,我可以帮你画一张 “理想 vs 现实” 的对比图 (One Giant Switch vs Fabric 架构),非常直观。是否要我画?

非常棒 👍 这一组 slides 是在讲 数据中心网络 (Datacenter Networks) 中一个很核心的性能指标:

“双向带宽 (Bisection Bandwidth)”

以及如何通过拓扑设计和带宽配置来提高它。

下面我一步步帮你整理核心逻辑👇


🧠 一、什么是 Bisection Bandwidth

定义: 把网络中的节点分成两半,看它们之间的最小总带宽是多少。

换句话说,它衡量的是“网络中间能同时承载多少跨区通信”。


💡 Full Bisection Bandwidth

如果一个网络有 N 个节点:

  • 若每个节点都有带宽 B;
  • 理想情况是两边 N/2 个节点能两两满速通信;
  • 那么“全双向带宽 (full bisection bandwidth)” 就是 (N/2) × B。

✅ 这表示任何两台机器之间都能以满速互相通信,没有瓶颈。


🧱 二、如何实现 Full Bisection Bandwidth

1️⃣ 方法一:Scale up(加粗链路)

  • 把靠近核心的链路(Core 层)带宽加大;
  • 比如每台服务器是 10G,聚合层和核心层之间就用 40G、100G 的线;
  • 这样可以避免上层成为瓶颈。

📉 但问题是:

  • 高带宽链路和大交换机太贵;
  • 树状结构 (tree topology) 难以扩展。

⚠️ 三、问题:树结构会导致带宽不够用 (Oversubscription)

“Over-subscription” 意思是:

上层链路的总带宽 < 下层服务器的总带宽。

例如:

  • 每个服务器到 ToR:10G;
  • 一个机架有 10 台服务器,总共 100G;
  • 但 ToR 到 Aggregation 只有 20G;
  • 那么 oversubscription ratio = 100G / 20G = 5:1。

结果:

  • 不同机架之间的通信会拥堵;
  • 不能实现 full bandwidth;
  • 影响负载均衡与容错能力。

🧩 四、解决思路:Better Topologies

这时候引出了更好的拓扑结构,比如:

✅ Clos / Fat-Tree Topology

(最后一张图讲的就是这个)

特点:

  • 多级交换机(multi-stage network);
  • 每个 pod(模块)中有两层 k/2 端口交换机;
  • 一半端口向上连接,一半端口向下;
  • 所有链路带宽相同;
  • 网络内部存在多条等价路径 (多路径传输)。

🧮 数学特性

  • 最多可容纳机器数:k³ / 4;
  • 例如:
    • k = 4 → 16 台机器;
    • k = 48 → 27,648 台机器;
  • 所有机器之间都能以全速互联(full bisection bandwidth);
  • 并且可以使用普通交换机(commodity switch),成本低。

✅ 总结一张表

概念 含义 典型问题 解决方式
Bisection Bandwidth 两半网络之间的最小总带宽 树结构瓶颈 加粗链路 or 改拓扑
Oversubscription 上层带宽不足以支撑下层 拥堵、丢包 提高聚合带宽
Full Bisection Bandwidth 任意两台服务器都能满速通信 成本高 Clos / Fat-Tree
Clos Topology 多层多路径结构 可扩展、低成本 各层 k/2 上下连接

💬 一句话总结:

数据中心网络追求的是高 bisection bandwidth, 传统树结构太贵、太“瘦”, 所以现代数据中心改用 Clos/Fat-Tree 拓扑, 以“多路径 + 均匀带宽”实现低成本的全速互联。


是否希望我帮你画一张 对比图(Tree vs Fat-Tree/Clos),直观展示为什么后者更能达到 full bisection bandwidth?